#sparse MoE

'Google представил Gemini 3 Pro, мультимодальную модель со sparse MoE и окном контекста на 1 млн токенов для задач рассуждения, кода и агентных рабочих процессов.'

'Ling 2.0 — новая серия разреженных MoE-моделей от Ant Group, использующая 1/32 активацию для эффективного масштабирования рассуждений от 16B до 1T.'